用户每天在各种社交网络平台上暴露于大量有害内容。一种解决方案是使用机器学习技术开发在线审核工具。但是，通过在线平台处理用户数据需要遵守隐私政策。联合学习（FL）是ML范式，在该范围内，在用户设备上本地进行培训。尽管FL框架符合GDPR政策，但仍然可能发生隐私泄漏。例如，访问最终训练模型的攻击者可以成功地对参与培训过程的用户的数据进行不必要的推断。在本文中，我们为包含差异隐私（DP）的在线内容审核提出了一个隐私的FL框架。为了证明我们的方法的可行性，我们专注于在Twitter上检测有害内容 - 但总体概念可以推广到其他类型的不当行为。我们以FL方式模拟了文本分类器，该分类器可以检测具有有害内容的推文。我们表明，对于DP和非DP FL版本，提出的FL框架的性能可以接近集中式方法。此外，即使有少数客户（每个数据点）可用于FL培训，它也具有高性能。当减少客户端数量（从50到10）或每个客户端的数据点（从1K到0.1K）时，分类器仍然可以达到约81％的AUC。此外，我们将评估扩展到其他四个Twitter数据集，这些数据集捕获了不同类型的用户行为不当，并且仍然获得了有希望的性能（61％-80％的AUC）。最后，我们在FL培训阶段探索用户设备上的开销，并表明本地培训不会引入过多的CPU利用率和内存消耗开销。